各端 UI 自动化控制技术全景
一句话总览：UI 自动化控制本质是"替人操作界面"——Web 端靠浏览器调试协议（CDP/WebDriver），桌面端靠系统辅助功能树（UIA/Accessibility），移动端靠系统注入框架（XCUITest/UIAutomator2）+ 底层 ADB。跨端统一封装由 Appium / Maestro 这类"胶水层"完成。
1.1 分类框架
按"被控制对象"划分，主流 UI 自动化控制技术可分为四大类：
| 类别 | 被控制对象 | 核心协议/机制 | 代表技术 |
|---|---|---|---|
| Web 浏览器 | 网页（DOM / 渲染进程） | CDP、WebDriver、WebDriver BiDi | Playwright、Puppeteer、Selenium、Cypress |
| 桌面应用 | 原生 GUI（窗口/控件） | UIA、Accessibility(AX)、AT-SPI、X11 | pywinauto、FlaUI、WinAppDriver、AppleScript、Xdotool |
| 手机 App | 移动应用（原生/Hybrid/WebView） | XCUITest、UIAutomator2、ADB、WebDriver | Appium、uiautomator2、Maestro、Espresso、XCUITest |
| 键鼠坐标（兜底） | 任意屏幕像素 | 系统级输入注入 / 图像识别 | pyautogui、SikuliX、AutoHotkey、OpenCV 模板匹配 |
四类的关系：前两类属于"语义级"控制（读控件树、按属性定位，稳定可靠）；最后一类属于"像素级"兜底（图形界面不可读时使用，脆弱但万能）。手机 App 兼具两者——原生层可用语义树，WebView 内则走 Web 协议。
1.2 技术全景图
四类控制对象 × 三层技术栈（库/框架 → 协议/驱动 → 系统能力）全景图
2. Web 浏览器控制
Web 是 UI 自动化最成熟的领域。两条技术路线：WebDriver（Selenium 开创、标准化的 JSON 协议）与 CDP（Chrome 内部调试协议，被 Puppeteer/Playwright 采用）。未来两者正融合为 WebDriver BiDi 新标准。
2.1 主流工具
Playwright（Microsoft）
- 定位：新一代 Web E2E 测试与自动化框架，统一 API 驱动 Chromium / Firefox / WebKit 三引擎
- 协议：Chromium 系走 CDP，Firefox / WebKit 走定制 Juggler 协议
- 特性：自动等待、多上下文隔离、Codegen 录制、Trace Viewer、网络拦截 Mock、移动设备模拟、持久化（可接管已有浏览器）
- 语言：TypeScript / JavaScript / Python / Java / .NET
Puppeteer（Google）
- 定位：Node 库，专注 Chromium/Chrome 的精深控制
- 协议：纯 CDP
- 特性：浏览器级 API（多页面/多 Target）、PDF 生成、性能追踪、截图；不内置断言与 Test Runner（可配 Jest / Mocha）
- 适用：爬虫、页面渲染服务、需要直接操作 DevTools 能力的场景
Selenium（W3C WebDriver）
- 定位：老牌标准，WebDriver 协议的行业事实标准，浏览器支持最广（含 IE/老版本）
- 协议：WebDriver（HTTP JSON，W3C 标准化）
- 组成：Selenium WebDriver + Selenium Grid（分布式/云）+ Selenium IDE（录制）
- 缺点：无自动等待、稳定性弱、对现代前端（Shadow DOM、单测型组件）支持一般
Cypress
- 定位：开发者友好型 E2E 框架，内嵌浏览器进程运行（非外部驱动）
- 协议：与浏览器同进程通信，非标准 WebDriver/CDP 外部驱动
- 特性：Time-Travel 调试、自动等待、组件测试（现迁移至 Cypress Component Testing / Playwright 竞品）
- 限制：仅支持 Chrome 系/Electron（Firefox 有限），多标签页/跨域场景受限
CDP（Chrome DevTools Protocol）裸用
- 定位：Chromium 官方调试协议，DevTools、Puppeteer、Playwright 的底层
- 用法：通过
--remote-debugging-port或WebSocket直连；Domain 化 API（Page/DOM/Runtime/Network/Input...） - 适用：需要协议级精细控制、浏览器性能分析、自定义调试工具时
2.2 选型对照
| 工具 | 协议 | 浏览器覆盖 | 稳定性 | 上手难度 | 最佳场景 |
|---|---|---|---|---|---|
| Playwright | CDP + Juggler | Chromium/Firefox/WebKit | 高（自动等待） | 低 | 跨浏览器 E2E、RPA、录制回放 |
| Puppeteer | CDP | Chromium 系 | 高 | 中 | 爬虫、渲染、精细 DevTools 控制 |
| Selenium | WebDriver | 最广（含 IE） | 中（需自管等待） | 中 | 企业存量系统、Grid 云测、多语言团队 |
| Cypress | 内嵌进程 | Chrome 系 | 高 | 低 | 前端开发者日常 E2E/组件测试 |
3. 桌面应用控制
桌面控制的本质是"读系统辅助功能树（Accessibility Tree） + 按控件属性注入操作"。三大桌面平台各有原生通道，其上再叠框架与封装库。
3.1 Windows
| 技术 | 类型 | 机制 | 说明 |
|---|---|---|---|
| UI Automation (UIA) | 系统 API | COM 接口，微软官方可访问性框架 | 控件树 + 属性 + Pattern（Invoke/Value/Selection...），WinForms/WPF/UWP/部分 Win32 均支持 |
| FlaUI | .NET 库 | 封装 UIA（也可用 Win32） | 现代 C# 首选，强类型 API，支持 FluentWait |
| pywinauto | Python 库 | Win32 API + UIA 双后端 | Python 生态首选；老应用用 Win32 后端，新应用切 backend="uia" |
| WinAppDriver | 服务/驱动 | 基于 UIA，暴露 WebDriver 协议 | 微软官方，可被 Appium/Selenium 调用，与 Web 自动化统一 API |
| AutoHotkey (AHK) | 脚本语言 | SendMessage / 键鼠注入 | 轻量自动化/快捷键，坐标级为主，适合快速小脚本 |
3.2 macOS
| 技术 | 类型 | 机制 | 说明 |
|---|---|---|---|
| Accessibility API (AXUIElement) | 系统 API | AX 辅助功能树，AppleScript 可访问 | 底层通道，Swift/ObjC 调用；需"辅助功能"权限授权 |
| AppleScript / JXA | 脚本语言 | System Events → AX | 系统内建，适合系统级自动化、applescript 控制原生 App |
| XCUITest（macOS） | 测试框架 | XCTest + AX，注入进程 | Apple 官方，Apple 平台上 GUI 测试的标准（含 macOS 应用） |
| pyautogui / 第三方 | 跨平台库 | 坐标注入 | macOS 无 pywinauto 对应物，需走 AX 或坐标 |
3.3 Linux
| 技术 | 类型 | 机制 | 说明 |
|---|---|---|---|
| Xdotool | 命令行工具 | X11 协议键鼠/窗口控制 | 最常用；Wayland 下失效（无 X11 注入），需换 ydotool |
| AT-SPI / Dogtail | 系统 API / Python 库 | 可访问性树（GTK/Qt） | GNOME 生态的语义级控制，Dogtail 是 Python 封装 |
| ydotool | 命令行工具 | uinput 内核注入 | Wayland 下的键鼠注入方案 |
3.4 跨平台键鼠坐标（兜底）
| 技术 | 类型 | 机制 | 说明 |
|---|---|---|---|
| pyautogui | Python 库 | 系统级鼠标/键盘/屏幕截图 | 纯坐标操作，跨 Windows/macOS/Linux；识别弱、依赖定位稳定 |
| SikuliX | 工具/IDE | OpenCV 图像匹配 + Java AWT 注入 | 以"图片找控件"，对不可读 UI 有效；速度慢、环境敏感 |
| OpenCV 模板匹配 | 算法库 | 截图 → matchTemplate | 可自建图像定位；常与 pyautogui 组合做自适应点击 |
| AutoHotkey（Windows） | 脚本 | 键鼠/窗口消息 | Windows 上坐标级脚本最快的方案 |
4. 手机 App 控制
移动端控制分两条路径：官方原生框架（Espresso / UIAutomator2 / XCUITest）与 跨平台统一框架（Appium / Maestro）。底层都离不开 ADB（Android 调试桥）与 iOS 的 idb/libimobiledevice 这类设备通道。
4.1 Android
| 技术 | 类型 | 机制 | 说明 |
|---|---|---|---|
| ADB | 设备通道 | 命令行协议（USB/WiFi） | 底层能力：安装/启停 App、input 键鼠、uiautomator dump 截控件树、截图 |
| UIAutomator2 | 测试框架（Google） | UIAutomator，进程内注入 | 官方 UI 测试框架；对跨进程/系统 UI 支持弱 |
| Espresso | 测试框架（Google） | 进程内同步注入 | 官方推荐，同步性最好；仅测 App 内部，须编译进 APK |
| uiautomator2（Python 库） | Python 库 | 封装 ADB + UIAutomator2 | 业界最常用，配合 atx-agent，支持元素定位/滑动/文本/图定位 |
4.2 iOS
| 技术 | 类型 | 机制 | 说明 |
|---|---|---|---|
| XCUITest | 测试框架（Apple） | XCTest 注入 + AX | Apple 官方唯一权威方案，真机/模拟器均可；须在 Xcode 构建 |
| idb | 工具（Meta） | 底层设备通道 | Facebook 开源，Appium 的 iOS 底层驱动之一，支持多设备并行 |
| libimobiledevice | 工具库 | USB 协议逆向 | 开源实现 iOS 设备通信，安装/启动 App、截图等底层能力 |
4.3 跨平台（Android + iOS）
| 技术 | 协议 | 底层 | 说明 |
|---|---|---|---|
| Appium | WebDriver（W3C 扩展） | XCUITest / UIAutomator2 + WebDriverAgent | 事实标准；一套 API 驱动 Android/iOS/桌面（WinAppDriver/Mac2）；生态大、云测支持多 |
| Maestro | 自有 YAML DSL | Android: UIAutomator2 / iOS: XCUITest | 新锐；YAML 声明式、上手快、自带 Flow 状态管理；适合快速验证与 CI |
| WebdriverIO（Appium 之上） | WebDriver | Appium | JS 生态，面向 Web + Mobile 统一测试 |
5. 全端对照总表
| 维度 | Web | 桌面 | 手机 |
|---|---|---|---|
| 语义层通道 | CDP / WebDriver | UIA / AX / AT-SPI | UIAutomator2 / XCUITest |
| 统一封装层 | Playwright / Selenium | WinAppDriver / FlaUI / pywinauto | Appium / Maestro |
| 设备/进程通道 | — | — | ADB / idb / libimobiledevice |
| 兜底方案 | pyautogui / SikuliX / OpenCV 图像匹配（坐标级） | ||
| 主流语言 | TS / Python / Java | Python / C# / 脚本 | Python / Java / YAML |
| 典型用途 | E2E 测试、爬虫、RPA | 桌面 RPA、软件测试 | App 测试、云真机、移动 RPA |
6. 选型决策
6.1 决策流程图
按被控对象 × 技术路线 → 落点主流工具的决策流程
6.2 RPA 场景组合
做跨端 RPA / 智能体控制时，业界标准组合是"一主多辅"：
- Web 为主：
Playwright（跨浏览器 + 代码录制 + 稳定性好） - 手机为辅：
Appium（统一协议）或uiautomator2（Android 快速落地）/Maestro（轻量 YAML） - 桌面兜底：
pywinauto（Windows 语义级）+pyautogui（坐标级万能兜底） - 图像增强：
OpenCV模板匹配定位动态 UI
注意：桌面与移动的语义级控制普遍需要"辅助功能/无障碍"权限（Windows 需服务、macOS 需
辅助功能 授权、Android 需 uiautomator 或无障碍服务、iOS 无免越狱注入需测试框架）。生产环境务必提前规划权限与签名（iOS 需开发者证书/WebDriverAgent 签名）。